SAILRec: Steering LLM Attention to Dual-Side Semantically Aligned Collaborative Embeddings for Recommendation
SAILRec：双端语义对齐与分层注意力引导的LLM推荐
🧭 LLM推荐中的协作知识注入与注意力控制 ★ 深度解读
Northeastern University, China
通过双端语义对齐和分层注意力引导，改善LLM推荐中协作嵌入的语义可达性与层级利用。
📌 工作参考价值（4 点）
- 用户侧语义画像码本对齐：用风格/情感/意识形态码本通过历史交互加权投票生成用户语义 target，然后将协作嵌入对齐到这些离散标签的 LLM 表示上。电商场景可直接替换码本为商品属性（品牌、价格段、类目、风格等），解决匿名 user embedding 在 LLM 中难以理解的问题，同时提供可解释的推荐理由。
- 分层的注意力引导策略：浅层抑制、中层无干预、深层增强协作 token 的注意力。这可以推广到任何向 LLM 注入外部嵌入（如知识图谱、多模态特征）的场景——避免过早干扰语言编码，在决策层强化外部知识，通过简单的偏置控制即可实现，无需改动模型结构。
- 分阶段训练策略：先冻结 MF 得到协作嵌入，再单独训练映射模块做语义对齐，最后联合微调 LoRA 和映射模块。这种“预训练-对齐-下游适配”的流程可以复用：将任意推荐特征（如协同信号）先对齐到 LLM 语义空间再参与微调，比一步联合训练更稳定。
- 基于注意力诊断的模型设计：在深度上观察协作 token 的注意力分布，并根据其深度依赖特性设计干预策略。实际工作中可以通过类似诊断分析（layer-wise attention to special tokens）来检验额外注入的特征是否被 LLM 合理利用，并指导何时增强/抑制。